Scrapy 常用函数

2020-03-10 分类：Python 作者：admin 阅读（22）

import os

python os.path.basename()方法

返回path最后的文件名。如果path以／或\结尾，那么就会返回空值。即os.path.split(path)的第二个元素。

import os
path = '/Users/beazley/Data/data.csv'
# Get the last component of the path
os.path.basename(path)
'data.csv'

from urllib.parse import urlparse

import urlparse

url_change = urlparse.urlparse('https://i.cnblogs.com/EditPosts.aspx?opt=1')

print url_change

输出结果为：

ParseResult(scheme='https', netloc='i.cnblogs.com', path='/EditPosts.aspx', params='', query='opt=1', fragment='')

其中 scheme 是协议 netloc 是域名服务器 path 相对路径 params是参数，query是查询的条件

import pymysql

# 拼接图片url

item["image_urls"] = ['http:'+x for x in item["image_urls"]]

字符串数组转换

str = <span class="hljs-string">'1,2,3'</span>
arr = str.<span class="hljs-keyword">split</span>(<span class="hljs-string">','</span>)
<span class="hljs-keyword">print</span> a

str = '1,2,3'

arr = str.split(',')

print a

数组转字符串

数组转字符串使用join函数

<span class="hljs-comment"># 方法1</span>
arr = [<span class="hljs-string">'a'</span>,<span class="hljs-string">'b'</span>]
str1 = <span class="hljs-string">','</span>.<span class="hljs-keyword">join</span>(arr)
<span class="hljs-keyword">print</span> str1
<span class="hljs-comment"># 方法2</span>
arr = [<span class="hljs-number">1</span>,<span class="hljs-number">2</span>,<span class="hljs-number">3</span>]
<span class="hljs-comment"># str = ','.join(str(i) for i in arr) # 此处str命名与str函数冲突！</span>
str2 = <span class="hljs-string">','</span>.<span class="hljs-keyword">join</span>(str(i) <span class="hljs-keyword">for</span> i in arr)
<span class="hljs-keyword">print</span> str2

# 方法1

arr = ['a','b']

str1 = ','.join(arr)

print str1

# 方法2

arr = [1,2,3]

# str = ','.join(str(i) for i in arr) # 此处str命名与str函数冲突！

str2 = ','.join(str(i) for i in arr)

print str2

python中时间、日期、时间戳的转换

# 引入模块
import time, datetime

1 2	# 引入模块 import time, datetime

2.1 str类型的日期转换为时间戳

# 字符类型的时间
tss1 = '2013-10-10 23:40:00'
# 转为时间数组
timeArray = time.strptime(tss1, "%Y-%m-%d %H:%M:%S")
print timeArray     
# timeArray可以调用tm_year等
print timeArray.tm_year   # 2013
# 转为时间戳
timeStamp = int(time.mktime(timeArray))
print timeStamp  # 1381419600
# 结果如下
time.struct_time(tm_year=2013, tm_mon=10, tm_mday=10, tm_hour=23, tm_min=40, tm_sec=0, tm_wday=3, tm_yday=283, tm_isdst=-1)
2013
1381419600

# 字符类型的时间

tss1 = '2013-10-10 23:40:00'

# 转为时间数组

timeArray = time.strptime(tss1, "%Y-%m-%d %H:%M:%S")

print timeArray

# timeArray可以调用tm_year等

print timeArray.tm_year # 2013

# 转为时间戳

timeStamp = int(time.mktime(timeArray))

print timeStamp # 1381419600

# 结果如下

time.struct_time(tm_year=2013, tm_mon=10, tm_mday=10, tm_hour=23, tm_min=40, tm_sec=0, tm_wday=3, tm_yday=283, tm_isdst=-1)

2013

1381419600

2.2 更改str类型日期的显示格式

tss2 = "2013-10-10 23:40:00"
# 转为数组
timeArray = time.strptime(tss2, "%Y-%m-%d %H:%M:%S")
# 转为其它显示格式
otherStyleTime = time.strftime("%Y/%m/%d %H:%M:%S", timeArray)
print otherStyleTime  # 2013/10/10 23:40:00

tss3 = "2013/10/10 23:40:00"
timeArray = time.strptime(tss3, "%Y/%m/%d %H:%M:%S")
otherStyleTime = time.strftime("%Y-%m-%d %H:%M:%S", timeArray)
print otherStyleTime  # 2013-10-10 23:40:00

tss2 = "2013-10-10 23:40:00"

# 转为数组

timeArray = time.strptime(tss2, "%Y-%m-%d %H:%M:%S")

# 转为其它显示格式

otherStyleTime = time.strftime("%Y/%m/%d %H:%M:%S", timeArray)

print otherStyleTime # 2013/10/10 23:40:00

tss3 = "2013/10/10 23:40:00"

timeArray = time.strptime(tss3, "%Y/%m/%d %H:%M:%S")

otherStyleTime = time.strftime("%Y-%m-%d %H:%M:%S", timeArray)

print otherStyleTime # 2013-10-10 23:40:00

2.3 时间戳转换为指定格式的日期

# 使用time
timeStamp = 1381419600
timeArray = time.localtime(timeStamp)
otherStyleTime = time.strftime("%Y--%m--%d %H:%M:%S", timeArray)
print(otherStyleTime)   # 2013--10--10 23:40:00
# 使用datetime
timeStamp = 1381419600
dateArray = datetime.datetime.fromtimestamp(timeStamp)
otherStyleTime = dateArray.strftime("%Y--%m--%d %H:%M:%S")
print(otherStyleTime)   # 2013--10--10 23:40:00
# 使用datetime，指定utc时间，相差8小时
timeStamp = 1381419600
dateArray = datetime.datetime.utcfromtimestamp(timeStamp)
otherStyleTime = dateArray.strftime("%Y--%m--%d %H:%M:%S")
print(otherStyleTime)   # 2013--10--10 15:40:00

# 使用time

timeStamp = 1381419600

timeArray = time.localtime(timeStamp)

otherStyleTime = time.strftime("%Y--%m--%d %H:%M:%S", timeArray)

print(otherStyleTime) # 2013--10--10 23:40:00

# 使用datetime

timeStamp = 1381419600

dateArray = datetime.datetime.fromtimestamp(timeStamp)

otherStyleTime = dateArray.strftime("%Y--%m--%d %H:%M:%S")

print(otherStyleTime) # 2013--10--10 23:40:00

# 使用datetime，指定utc时间，相差8小时

timeStamp = 1381419600

dateArray = datetime.datetime.utcfromtimestamp(timeStamp)

otherStyleTime = dateArray.strftime("%Y--%m--%d %H:%M:%S")

print(otherStyleTime) # 2013--10--10 15:40:00

2.4 获取当前时间并且用指定格式显示

# time获取当前时间戳
now = int(time.time())     # 1533952277
timeArray = time.localtime(now)
print timeArray
otherStyleTime = time.strftime("%Y--%m--%d %H:%M:%S", timeArray)
print otherStyleTime    

# 结果如下
time.struct_time(tm_year=2018, tm_mon=8, tm_mday=11, tm_hour=9, tm_min=51, tm_sec=17, tm_wday=5, tm_yday=223, tm_isdst=0)
2018--08--11 09:51:17
# datetime获取当前时间，数组格式
now = datetime.datetime.now()
print now
otherStyleTime = now.strftime("%Y--%m--%d %H:%M:%S")
print otherStyleTime  
# 结果如下：
2018-08-11 09:51:17.362986
2018--08--11 09:51:17

# time获取当前时间戳

now = int(time.time()) # 1533952277

timeArray = time.localtime(now)

print timeArray

otherStyleTime = time.strftime("%Y--%m--%d %H:%M:%S", timeArray)

print otherStyleTime

# 结果如下

time.struct_time(tm_year=2018, tm_mon=8, tm_mday=11, tm_hour=9, tm_min=51, tm_sec=17, tm_wday=5, tm_yday=223, tm_isdst=0)

2018--08--11 09:51:17

# datetime获取当前时间，数组格式

now = datetime.datetime.now()

print now

otherStyleTime = now.strftime("%Y--%m--%d %H:%M:%S")

print otherStyleTime

# 结果如下：

2018-08-11 09:51:17.362986

2018--08--11 09:51:17

（5）字符串类型str转换为date类型

#!/usr/bin/env python3
import datetime
str_p = '2019-01-30'
date_p = datetime.datetime.strptime(str_p,'%Y-%m-%d').date()
print(date_p,type(date_p)) # 2019-01-30 <class 'datetime.date'>

#!/usr/bin/env python3

import datetime

str_p = '2019-01-30'

date_p = datetime.datetime.strptime(str_p,'%Y-%m-%d').date()

print(date_p,type(date_p)) # 2019-01-30 <class 'datetime.date'>

「三年博客，如果觉得我的文章对您有用，请帮助本站成长」

赞(0) 打赏

标签：

上一篇：新文章！

下一篇：Python 10进制与任意进制之间相互转换(最大为62进制)

你可能感兴趣

python -m SimpleHTTPServer 实现快速上传下载

redis 批量拉取与更新

python 变量名命名规则

Python 多线程，threading模块，创建子线程的两种方式

Python 【收藏夹】

python gevnet

Python3 next send yield

Python多进程和多线程（跑满CPU）

Centos7 安装Python3和scrapy（正确安装姿势）

scrapy爬虫框架setting模块解析

共有 0 - Scrapy 常用函数

点击这里取消回复。

博客简介

admin（6年前 (2020-03-09)）
分别用不同厚度的筏板定义，画图后这设置筏板变截面处理。 http://f.fwxgx.co...
评：新文章！
admin（6年前 (2020-03-09)）
分别用不同厚度的筏板定义，画图后这设置筏板变截面处理。 http://f.fwxgx.co...
评：新文章！
admin（6年前 (2020-03-09)）
新增一个框架图！ http://biji.jinli.vip/wp-content/upl...
评：新文章！
一位WordPress评论者（6年前 (2020-02-13)）
嗨，这是一条评论。要开始审核、编辑及删除评论，请访问仪表盘的“评论”页面。评论者头像来自...
评：世界，您好！

Scrapy 常用函数

python os.path.basename()方法

你可能感兴趣

共有 0 - Scrapy 常用函数

点击这里取消回复。

博客简介

最近更新

随机文章

热门标签

精彩评论